AI产业链地图

NVIDIA Triton Inference Server

又名 Triton Inference Server · Triton

Triton Inference Server 是一个开源的推理服务化框架，支持多种深度学习框架的模型部署，提供企业级推理服务能力（动态批处理、模型集成、多模型并发、HTTP/gRPC API、监控）

第四层 · AI 基础模型
首次提出2018关键参与方NVIDIA

NVIDIA Triton Inference Server

NVIDIA 推出的开源推理服务框架；支持 NVIDIA TensorRT-LLM、PyTorch、TensorFlow、ONNX 等多种模型格式；企业级 GPU 推理服务主导。

核心能力

  • 多框架支持：TensorRT / PyTorch / TensorFlow / ONNX / OpenVINO 等
  • 动态批处理（Dynamic Batching）：自动拼批以提升 GPU 利用率
  • 模型集成（Model Ensemble）：多个模型组合成单一推理 pipeline
  • 多模型并发：多个模型在同一 GPU 共享算力
  • HTTP / gRPC API
  • 指标监控 + 可观测性
  • Python / C++ / Java / Go 客户端 SDK

主要玩家

  • NVIDIA（开发与维护）
  • 主要部署场景：金融、医疗、零售、汽车智能化等需要多模型协同推理的企业场景

在 AI 产业链中的角色

  • 企业级 GPU 推理服务主导在需要多模型协同推理的复杂场景中优势明显
  • 与 NVIDIA TensorRT-LLM 配合TensorRT-LLM 负责优化，Triton 负责服务化
  • MaaS 基础设施是众多云厂商和 AI 公司构建模型服务平台的底层框架

演进历史

  • 2018 首发（彼时名为 TensorRT Inference Server）
  • 2020 改名 Triton Inference Server，开源
  • 2024 与 TensorRT-LLM、NIM (NVIDIA Inference Microservices) 深度集成
  • 2025 适配 Blackwell GPU 架构

相关概念

所属模型部署与优化